Книга Коннектом. Как мозг делает нас тем, что мы есть - Себастьян Сеунг

…из слоя непосредственно под ним. Перцептрон обладает свойством, которое не согласуется с известными нам особенностями связей в мозгу: нервные пути перцептрона идут лишь от нижней части иерархии к ее верхушке. В реальном мозгу есть и связи, идущие в противоположном направлении. Какова может быть роль таких связей «верха и низа» в восприятии, как они могут быть организованы? В модели «интерактивной активации» (McClelland, Rumelhart, 1981) нейрон, отвечающий за распознавание буквы, получает сигналы «снизу вверх» от нейронов, детектирующих отдельные штрихи этой буквы. (Такие связи «части с целым» обсуждаются в основном тексте нашей книги.) Но с помощью этого подхода не удается объяснить простое явление: откуда вы знаете, что средняя буква в слове К-Т – скорее всего, А, И или О, но не Е и не Ю? Согласно модели интерактивной активации, нейрон, детектирующий букву, получает также сигналы «сверху вниз» от нейронов, распознающих слова, которые данную букву содержат. В вышеприведенном примере детектор буквы И должен принимать сигналы от детектора слова КИТ. Возможно, существует более общее правило: «Нейрон, детектирующий целое, направляет возбуждающие синапсы нейронам, распознающим части». Это позволяет нейрону опознавать раздражитель, взвешивая данные, получаемые и по линии «снизу вверх», и по линии «сверху вниз».

…или многих других людей, у которых голубые глаза. Множество «целых» может иметь одну общую часть, вот почему иерархический подход эффективнее «плоского».

…коннекционизмом. Термин «коннекционизм» чаще относят к движению в когнитивной науке, возникшему в 1980-х годах и стремившемуся понять человеческое сознание с пом ощью моделирования нейронных сетей, построенных по принципу «неравноценного голосования». Философы, занимавшиеся проблемами сознания, противопоставляли такой подход «символическому» уподоблению сознания компьютеру. Но эти жаркие споры давно канули в прошлое, и теперь, как мне представляется, лучше использовать этот термин в более широком смысле, о котором я и веду речь. Ведь связанная с этим учением интеллектуальная традиция, берущая начало еще в XIX столетии, продолжает развиваться.

…возникать из восприятия образа или из наших мыслей. Некоторые считают СЧЛД своеобразной верхушкой иерархии, о которой мы говорили ранее (см. рис. 51). В нижней части этой иерархии – области коры, отвечающие лишь за восприятие как таковое. Процесс мышления не активирует (или, по крайней мере, не очень сильно активирует) нейроны в этих областях. Похоже, грань между восприятием и мышлением не так уж тонка. Судя по всему, нейроны могут в различной степени вовлекаться в процесс мышления, и эта степень тем больше, чем выше нейрон находится на этой иерархической шкале.

…память никогда не работает идеально… Отдельные теоретики утверждают: ингибирующие нейроны могут с большей точностью контролировать распространение активности, чем это проделывают нейронные пороги, вот откуда берутся внезапные вспышки неожиданно ярких воспоминаний.

…катастрофической информационной перегрузки… Ингибирующие нейроны увеличивают емкость памяти, препятствуя распространению нейронной активности. Чтобы выполнять такую «мешающую» функцию, связям ингибирующего нейрона вообще не очень-то нужна какая-то слишком уж сложная организация. Если каждый из них получает синапсы от случайного набора возбуждающих нейронов, он будет активироваться, когда активируется эта «толпа». Если он направляет синапсы другому случайному набору возбуждающих нейронов, это будет оказывать сдерживающее действие на их «толпу». Инженер сказал бы, что ингибирующие нейроны дают эффект «отрицательной обратной связи» при воздействии на возбуждающие нейроны. Классический пример отрицательной обратной связи – термостат домашней системы отопления. Если температура в нагретой комнате переваливает за определенный предел, термостат отключает нагрев; если температура понижается, термостат снова его включает. В обоих случаях термостат действует так, чтобы противостоять изменению температуры. Подобным же образом и ингибирующие нейроны действуют так, чтобы противостоять изменениям активности возбуждающих нейронов. С этой точки зрения, ингибирующие нейроны играют лишь вспомогательную роль в функционировании мозга, так что их связи и не должны быть слишком уж избирательными и специфичными.

…распространяется слева направо. Похоже на лежащий на боку перцептрон, правда? Но хотя синаптическую цепочку можно рассматривать как частный случай перцептрона, она во многом отличается от типичного перцептрона, который используется для моделирования человеческого восприятия. Нейроны одного слоя перцептрона обычно детектируют различные стимулы, поэтому каждый из них соединен со своим поднабором нейронов из предыдущего слоя. (А если они подключены к одним и тем же нейронам, синапсы различаются по своей силе.) Все нейроны одного слоя синаптической цепочки активируются вместе, так что их связям с предыдущим слоем нет нужды быть различными. Синаптическую цепочку многие описывали математическими моделями (см, например: Amari, 1972; Abeles, 1982). Схожие модели в 1980-х годах построил американский физик-теоретик Джон Хопфилд (John Hopfield).

Теорию коннекционизма создавало… Идею и название клеточного ансамбля предложил Дональд Хебб (Hebb, 1949). Первые компьютерные модели нейронных сетей с участием клеточных ансамблей относятся к 1950-м годам. Английский теоретик Дэвид Марр и японский теоретик Шуничи Амари – два выдающихся исследователя, которые еще в шестидесятых – семидесятых годах прошлого века без всякого компьютера, с помощью карандаша и бумаги, выводили уравнения, описывающие такие модели (см., например, Marr, 1971; Amari, 1972). Но подлинный взлет коннекционизма наступил в 1980-х, с появлением программных работ Джона Хопфилда (Hopfield, 1982; Hopfield, Tank, 1986). С помощью редкостных математических методик, позаимствованных из области физики, именуемой теорией спиновых стекол, физики-теоретики сумели с блеском рассчитать емкость памяти – путем статистической обработки результатов исследования эффектов перекрывания клеточных ансамблей (Amit, 1989; Mezard, Parisi и Virasoro, 1987; Amit et al., 1985). К 1990-м годам пыл этих исследователей несколько поутих, однако они успели выявить массу любопытных свойств данных моделей. Примерно в это же время «PDP Research Group», коллектив ученых-когнитивистов, опубликовал двухтомный манифест, содержащий множество интересных коннекционистских моделей и оказавший большое влияние на дальнейшее развитие науки (Rumelhart, McClelland, 1986).

…статью «Проблема серийности и порядка в поведении»… Лешли приписывал создание «модели ассоциативной цепочки» британскому психологу Эдварду Титченеру, цитируя его книгу 1909 года. На самом деле оба автора имели в виду скорее цепочки психологических ассоциаций, чем нейронные связи. Нейробиолог Лешли почему-то не использовал в своей статье термин «синапс». Тем не менее из текста статьи явствует: речь идет именно о синаптических цепочках.

…бесконечное количество разнообразных последовательностей сигналов. Должны также существовать места, где две цепочки сливаются в одну, иначе нам бы очень скоро не хватило нейронов. (Мы имели бы дело с геометрической прогрессией, и уже после 40-го ветвления необходимое число нейронов превысило бы триллион. – Прим. перев.)